面向三维城市建模的多点云数据融合方法综述
点击图片上方蓝色字体“慧天地”即可订阅
【作者信息】
作者：朱庆, 李世明, 胡翰, 钟若飞 , 吴波 , 谢林甫
第一作者：朱庆, 博士, 教授, 博士生导师, "长江学者"特聘教授, 研究方向为摄影测量、地理信息系统、虚拟地理环境。
“【摘要】多细节层次的三维城市模型是数字城市和智慧社会的关键空间数据基础设施，从基于稀疏点线特征的交互式半自动化建模到基于密集点云的自动化智能化建模已经成为国际学术界和工业界的热点前沿。由于立体城市空间结构的复杂性，多类型、多站点和多时相的点云数据融合处理是三维城市建模的基本途径，其基本思想是将具有不同视角、密度、精度、尺度、细节、时间历元等特征的多点云数据进行一致性融合表达与集成处理，建立可直接面向计算分析的智能化表达的多点云模型。归纳总结了多点云数据的主要特点，针对时空基准与精度、尺度、语义3个层面的一致性处理，分析了多点云数据融合的主要发展趋势，并凝练了面向三维城市建模的多点云数据融合关键问题。
【关键词】多点云 数据融合 三维城市建模 激光扫描点云 影像匹配点云 语义
”正文
多细节层次的三维城市模型是数字城市和智慧社会的关键空间数据基础设施[1]。现有的精细化三维城市建模技术主要有基于多种数据源(计算机辅助设计(computer aided design，CAD)、建筑物信息建模(building information modeling，BIM)、地图等)的人工交互建模和基于影像或激光扫描密集点云的半自动化建模两大类。人工交互建模利用稀疏点线特征几何约束，需要大量人工交互式操作, 导致作业周期长、效率低，且模型质量难以保证, 特别是纹理偏差大。基于密集点云的半自动化建模已成为大范围三维城市建模的主要方式。由于立体城市空间结构复杂，高大建筑相互遮挡，且建筑物屋顶和立面形状结构多样，道路、植被、人工设施等地上下立体空间场景对象种类繁多，形态各异，单一类型与单一站点的点云数据普遍存在数据漏洞、描述尺度单一、结构细节丢失等局限性[2]，难以表达目标完整丰富的细节特征[3]。随着“消费级”激光扫描设备、影像密集匹配技术以及深度相机等新型数据获取技术日新月异，点云数据获取手段更为丰富，且难度与成本降低，类型、视角、属性和内涵信息更为丰富的点云数据日益可得[4]。因此，多点云数据融合处理成为三维城市建模的主要途径，并成为国际学术界和工业界的热点前沿。
多点云数据指多类型、多站点和多时相的点云数据。激光扫描、影像匹配、深度图像测量、干涉雷达测量和野外实地测量等方法提供了具有不同数据属性和信息内涵的多类型点云[5]。这些不同类型的点云还可以从空中、地面、室内等不同站点获取，具有多样化的视角和尺度特征[6]。此外，不同时间历元采集的多时相点云融合可反映对象的变化属性和趋势。多点云融合的前提是明确不同点云的优势信息和互补需求。如影像匹配点云密度高且富含边缘特征信息，但具有大量的拓扑噪声，且只能获取表面覆盖数据，连片林地的地形常存在漏洞;空、地不同站点的激光扫描点云在效率、精度、结构细节信息的采集方面也各有优缺点(如表 1所示)。根据多点云数据具有的不同视角、密度、精度、尺度、细节、语义等特征进行一致性处理是一项复杂的系统性工作，是后续多细节层次精细三维建模的关键基础。通过消减不同点云间的空间基准、尺度和语义表达等不一致性，如空间位置、结构语义、拓扑关系的冲突，以达到数据准确、冗余最少[7-8]，实现多点云数据的优势信息融合表达。
表 1 多点云特征
项目 | 航空影像匹配 | 机载激光扫描 | 车载激光扫描 | 地面激光扫描 |
适用范围 | 城镇等易于提取影像匹配特征的建成区域 | 块状或条带状较大区域(≥1 km2) | 城镇建成区域可通车道路沿途条带状区域 | 重要建筑单体/群及周围场景的较小区域 |
点密度 | ≈400，地物线特征更为密集(常用无人机倾斜摄影) | 1~20，均匀分布(常用航空平台) | ≥100，距离测站越近越密集 | ≥100，距离测站越近越密集 |
主要误差来源 | 影像质量、匹配误差、底层遮挡 | 导航传递误差、几何校正残差 | 地物视线遮挡、GPS信号失锁 | 地物视线遮挡、玻璃镜面反射 |
数据精度 | 受影像质量和匹配精度影响 | ≤15 cm且高程精度优于平面精度 | 厘米级 | 毫米级 |
优势信息 | 高密度、特征内涵 | 高效率、穿透性 | 较高效率与精度 | 高精度、多结构细节 |
融合需求 | 拓扑噪声处理、穿透顶部覆盖的地面数据 | 复杂精细化建筑的结构细节信息 | 城镇外区域数据 | 更高的作业效率、大范围的整体场景建模 |
多点云数据的融合处理方法可归纳为时空基准及精度、尺度、语义3个层面的一致性处理。时空基准与精度一致性处理旨在建立整个场景统一的点云模型，尺度一致性处理则为了削减不同密度和精度的点云对同一目标表达的尺度差异，语义一致性处理旨在综合利用不同点云对同一目标不同细节特征的表达。通过这3个层面的一致性处理, 即可得到最初级的多点云融合模型，可满足进一步精细化三维城市建模与智能化分析等深度应用需求[9]。
本文从时空基准与精度、尺度、语义3个方面归纳了多点云数据的特点和融合处理的主要发展趋势，凝练了面临的主要技术难题，如图 1所示。
图 1 多点云数据融合技术框架
1 多点云时空基准与精度一致性处理方法
多点云的融合反映了由单源到多源、由少到多、由简单到复杂的趋势，这种融合的第一步是理解和描述不同数据源间的复杂关系和相互转换规律[10]，实现时空基准与精度的一致性，建立整个场景统一的点云模型，弥补单一点云数据空洞，并增强尺度和语义信息，实现整个场景对象的无缝表达。
多点云从采集单元转换到绝对地理坐标系采用了不同的方法和辅助数据。机载和车载移动激光扫描系统都配备了GPS/IMU(global positioning system/inertial measurement unit)组合惯性导航模块，根据耦合计算得到的轨迹数据进行绝对地理坐标系的纠正，理想情况下，获取的点云精度在5~15 cm左右[11]。地面激光扫描常利用扫描场景内已知坐标的靶标球进行多站点拼接和绝对地理坐标纠正[12-13，得到的整个场景数据精度可达3 cm以内。影像匹配点云利用像控点进行立体恢复，并实现绝对地理坐标的纠正，但由于遮挡、视差断裂、纹理缺失及光照条件不一致等, 制约了影像密集匹配中关键特征点的可靠检测[14-15]，常存在大量的几何和拓扑噪声[16]。由于像控点、靶标球、GPS/IMU惯导数据等辅助数据的采集质量不一，对多点云融合精度产生直接影响[17]，因此多点云数据需要进行点云精确配准。
点云配准是计算不同点云集合间空间几何的关系精准映射，求取坐标转换参数，将待转换数据集进行刚体变换的过程。现阶段点云配准最广泛的方案是基于局部特征匹配初值的迭代最近点(iterative closest point，ICP)算法[18-19]。ICP算法是一种全局配准的迭代算法，可以获得很高的配准精度，但需要初始粗配准以避免陷入局部最优解。利用点-线等局部特征识别和匹配可得到七参数或四元数构建的点云旋转矩阵实现多点云融合[20]，且可以为ICP算法提供初值以获取更高的配准精度，如图 2所示。
图 2 基于特征的多点云数据配准流程
基于局部特征的点云配准可按照点、线、面3种特征基元进行分类[21]，需要特征提取、同名特征识别、转换参数的求取和应用3个步骤。在面向城市三维建模的点云配准任务，普遍的方法是运用多种三维点云描述符如快速点特征直方图(fast point feature histograms，FPFH)[22]等提取特征，或识别建筑物边缘的几何特征点和特征线[23]，这是由于建筑边缘的几何特征通常满足稳定性和特异性[24]。局部特征的提取及其相关的点云索引方法、法向量计算等是研究人员的热点研究内容[25]，利用点到线、点到面的关系[26]，提取特征曲线[27]、建筑面[28]作为特征, 也为基于特征的配准方法提供了更好的适用性和灵活性。
但是，识别和匹配几何特征仍然面临3个瓶颈:①在城市周边建筑稀疏或非人工建成区的几何自然特征提取较难[29]，可采用地面作为特征基元进行配准[30-31];②基于特征向量提取的几何特征冗余性强，且由于精度和尺度差异影响，普遍导致一对多、多对多、空匹配的相似性度量结果，需要利用概率松弛约束匹配特征线等方法解决[18,32];③多时相点云的变化信息会干扰相同几何特征的识别和提取。
因此，利用场景语义信息提取准确的对应语义特征成为了新的趋势, 比如试图利用建筑物的顶面边界线[33-34]、构筑物中心轴线[35]、建筑物的垂直、相交[36]、脚点[37]等实现精确的点云配准。
当然，除了ICP算法外, 还有其他优秀方法可用于多点云配准。
基于点云自身关系的4PCS(4-points congruent sets)[28]及其改进super4PCS[38]算法，通过智能索引进行全局配准，及基于遗传算法(genetic algorithm，GA)的全局搜索策略多点云配准方法，不需要初始粗配准辅助即可在定义的搜索空间中找到最优解[39]，且可用于自由曲面的匹配[40]，在3D医疗点云的配准[41]、地面多站点点云配准[17]方面得到了成功应用。
2 多点云尺度一致性处理方法
不同点云密度和细节分辨率的多点云数据对同一目标表达具有显著的尺度差异。空中站点多面向条带状和面状大场景范围的数据采集任务，是有效的大尺度场景DSM(digital surface model)、建筑群落屋顶结构[34,42]、植被冠层数据的采集手段[43]。其中，机载激光点云均匀且较为稀疏，较长的测程(通常为500~3 000 m)会产生激光束散射现象，对对象细节信息采集有一定程度的损失[35]，通常只能区分对象整体(如一栋建筑);影像逐像素密集匹配点云的密度取决于影像分辨率，通常每m2范围大于200点[44]的高密度有利于对象单个平面的分割和识别，但其中点云的噪声和对象的细节(如建筑外立面复杂的细节结构)甄别困难，影像匹配点云密集的优势需要提高去噪的鲁棒性才能更好的发挥[45-46]。地面站点通常测程较近(不超过500 m)，具有更高的点云密度和更丰富的细节信息，可以对建筑立面、道路设施、附属部件进行小尺度的精细数据采集[47]，分割识别精细的细节结构[48]，是单体化建筑模型精细结构语义的主要数据源。
经过时空基准与精度的一致性处理，场景中的对象如建筑物会有多种尺度的点云数据重叠。比如空基俯视点云与地基侧视点云，需要多点云数据尺度一致性的进一步处理，进行多尺度点云不确定性评价[49]，解决重叠点云的冗余和矛盾，以实现点云数据的高效利用[50]。
对于多点云重叠部分，依据细节丰富、精度最高的数据，对存在重复的其余数据进行清洗[8]或精度纠正。例如地基点点云替换或加密建筑物侧面的空基点点云数据[51]，依据激光点云数据对影像匹配点云进行去噪[52]，利用加权局部最优投影(weighted locally optimal projection，WLOP)算法等点云重采样方法以及顾及边缘信息的升采样点云增强[53]在面向多尺度特征时有良好的适用性。此外，机载激光提取屋顶轮廓对车载点云的建筑立面精细分割[54]，结合建筑物相似性判断进行建筑立面空洞修复[55]等类似的方法，是多点云数据进行点云增强的新尝试。
基于格网尺寸大小变化等方法建立尺度变换模型对单一尺度点云特征提取、滤波数字高程模型(digital elevation model，DEM)生成、曲面重建等研究已经广泛的展开[56-59]。面对多点云本身具有的不同尺度特性，相应数据处理需要新的方法。
此外，多点云的不同尺度特征可对应三维城市建模多细节层次需求。按照开放地理空间信息联盟(Open Geospatial Consortium，OGC)标准CityGML定义的建筑物多细节层次(levels of detail, LOD)标准[60]，三维城市模型从最初级细节层次LOD0的DEM、DSM等产品，到最高级层次LOD4的室内外一体化精细化模型，需要依据可视化和分析需要进行多细节层次模型构建。尺度一致性融合的多点云数据，针对多细节层次三维建模需求，形成按需提取的多尺度层级点云管理和组织方法[61-62]，有效支撑精细化三维模型的自动建模[63]。
3 多点云语义一致性处理方法
散乱的点云本身不具有语义信息，三维重建需根据点云数据含有的空间坐标(X，Y，Z)和其他属性(如强度、色彩)进行语义理解，识别结构化语义(几何、拓扑结构，如墙角、窗边、边面等)和分类信息(植被、建筑、路灯等)。语义赋予了点云类的属性，是进一步进行分析应用的基础。可见，经过时空基准和尺度融合的多点云，需要多种方法提取与理解不同点云对同一目标不同细节特征的语义内涵，并进行统一的语义标识[64]。
多点云数据的采集原理、信息内涵以及语义理解方式的不同，都导致其具有显著的语义差异。
激光扫描点云来自主动式遥感，除空间三维坐标外，还包含具有层次感的强度信息。以被动式遥感方法获取的影像匹配点云具有对应影像像元的颜色信息。强度和色彩可从不同方面给点云的分类识别和语义理解提供辅助。
激光扫描点云采样均匀，在结构化特征反应上并无指向性。影像匹配点云在此处具有优势。由于匹配策略往往基于特征，因此在对象的线特征、边缘处点密度较高[65]。
激光雷达优势在于其多目标能力，可穿透植被冠层获取地面数据。影像匹配点云则只能获取对象表面覆盖，容易受到草、低矮灌木、屋顶附属物的影响。
激光扫描点云的强度信息和多目标能力、影像匹配点云的色彩信息和特征处点密度更高的特性，赋予了多点云属性显著差异特点，从而对多点云数据的类信息提取需要不同的处理方案。空地多平台的多尺度特性则会影响点云类信息识别的精细程度。融合的多点云数据可为改进三维场景数据的完整性、密度、地理参考质量、精度、可靠性及点云数据处理奠定良好基础[52]。
对于同一对象的不同点云来源，包含有不同的语义信息，需要不同方法提取和理解。现有的点云分类主要可分为基于点和基于对象两大类[66-67]。基于点的分类通常以球体或圆柱体定义点的邻域，提取点特征后使用监督或非监督分类器，因此这类方法集中于特征和分类器的选择。基于对象的分类与前者相比，增加了一个点集群形成点簇的过程，将齐次点进行集成以便于每个点簇对应至对象的某个组件，如门面或屋顶，再利用概率分布函数[68]、支持向量机[69]、马尔科夫随机场模型[66]等算法进行分类。近年来，利用机器学习进行分类和语义标注的方法也开始涌现，处理对象分类、部分分割到场景语义解析的PointNET[70]，利用上下文信息和概率推理，对点云进行整体预测并分类的ScanComplete[71]等，这得益于计算机视觉领域的研究快速发展[72]。
将分类结果进行互操作，相互对比、修正与赋值等一致性同化，建立统一的语义标识，实现多点云语义信息的综合理解[73]。此时，同一对象会存在不同精细程度的语义标识信息，保留最精细语义而剔除其他属性会造成信息的丢失，因此建立多粒度的语义标识是有效方案，如图 3所示。
图 3 多粒度语义统一标识示意图
统一的语义标识可实现多点云数据理解层面的一致。三个层次的一致性处理数据可支持智能化分析，满足从浅层的描述到深层的计算、量测和分析，直接满足智慧城市管理和智能决策的需要，比如基于时空一致的多点云模型不仅可以自动提取单体化对象并进行多细节层次的三维重建，还能检测变化、诊断异常等。
4 多点云融合存在的关键问题及发展趋势
1) 多点云融合将面对更为复杂多样的点云数据源。点云数据获取装备正从“专业级”向“消费级”快速发展，轻小型无人机平台和车载平台激光扫描设备开启了点云数据采集的众包模式，更为参差不齐的基准、精度、尺度和语义差别，需要新的点云数据管理、清洗、约束、融合方法。室内环境下深度相机和红外相机等新型传感器的应用，加速了室内外、地上下一体化的多点云融合发展，使得LOD4层级的三维城市全息模型快速获得成为可能。
2) 面向自动化三维城市建模和动态更新的多点云数据按需抽取。现有的三维城市建模方法大多采用有限的假设和几何约束，需要人工交互且不适用于现实场景中所有复杂的对象。最近的研究[74]显示了语义信息对复杂三维城市重建的重要性。一致性处理后的多点云数据是自动化多LOD层级三维城市建模的必要条件[75]，统一的语义信息标识可引导多点云数据的按需抽取，适应和感知用户及环境变化，给三维城市模型的动态更新提供新的机会。
3) 机器学习技术的应用。使用卷积神经网络(convolutional neural network，CNN)架构的深度学习是解决图像分类任务的标准解决办法，由于点云是不规则和无序的，将深度学习应用于点云的提取、分类识别较为困难，相关的探索，如PointNet[70]、PointCNN[76]等方法已将点云数据作为训练样本，模拟生物视觉认知方式进行了点云分类[77]。进一步地，多点云数据的一致性提取问题将在人工智能、机器学习等先进技术的驱动下向自动化、智能化方向快速发展，将更好地服务于复杂地理空间对象的认知、识别、分析和知识化服务。
5 结语
多点云融合已经应用于建筑物、道路、植被、地形等典型对象的三维重建。随着智慧城市建设的深入发展，红外、合成孔径雷达干涉测量(interferometric synthetic aperture radar，InSAR)、深度图像等新型点云数据的引入, 面对室内外、地上下一体化的全要素多细节层次的三维城市建模需求，自动化、智能化的多点云融合处理仍然是挑战性的难题。
6参考文献：略。
来源：《武汉大学学报·信息科学版》2018第12期，勘测联合网编辑整理（版权归原作者及刊载媒体所有）
欢迎大家关注《慧天地》同名新浪微博
微博ID：慧天地_geomaticser
荐读
点击下文标题即可阅读
编辑 / 王兆喆 审核 / 卜玺 盛兆阳
指导：万剑华教授